OpenMobile-2:构建可扩展环境与应用原生工具的通用移动智能体
🧭 移动智能体环境与工具混合训练
Nanjing University · SenseTime · The University of Hong Kong · Xi'an Jiaotong University · National University of Singapore
开源移动智能体OpenMobile-2,提供110+应用环境、12K SFT轨迹与2K可验证RL任务,支持GUI与原生工具混合使用
📌 工作参考价值(4 点)
- 借鉴「GUI + app-native tool」混合模式:在电商 Agent 中,把搜索、加购、下单等关键操作封装为结构化工具,与页面 GUI 操作交替使用,可降低对视觉解析的依赖,提高动作准确率和可执行性;同时保留 GUI 兜底应对未封装的长尾页面。
- 用可验证任务 + 自动奖励扩展 RL 训练:借鉴其 2K+ 可执行任务、自动 reward 的设计,在推荐/客服 Agent 训练中构造「完成订单/加入购物车/点击商品」等可自动判定的任务,低成本获取大规模 RL 数据。
- 构建跨 App 工作流仿真环境:在电商场景中,模拟搜索、详情、购物车、支付等多 App 跳转与重置,用于离线评测和训练 Agent,避免在真实 App 上试错;其 MobileGym++ 的 reset/verification 机制可直接迁移。
- 关注长时程商业任务评测:MobileGym++ Bench 支持 GUI-only 与 hybrid 共享任务套件,可用于对比不同交互范式的效果,帮助选型工具化 vs 纯视觉方案。
Qwen-Planner-Agent:面向真实移动规划智能体的闭环 AI-for-AI 框架
🧭 Agent 闭环训练与模型-Harness 协同进化 ★ 深度解读
MAI Team · Alibaba Token Hub · Alibaba Group
构建闭环 AI-for-AI 框架,通过 AI 生产数据、CARE 智能体强化学习与模型-Harness 协同进化,在 MobilePA-Bench 以 27B 取得最高综合分 77.05%
📌 工作参考价值(4 点)
- 混合环境策略可迁移到电商导购/搜索 Agent:用沙箱覆盖可复现工具调用,LLM 仿真覆盖长尾场景,少量真实设备/线上会话做高保真验证,能显著降低真实交互成本,同时保留关键执行反馈。
- CARE 的按组成功率分档值得直接借鉴:任务成功率低时给过程奖励,混合时只给结果奖励,成功后转向效率优化;并用 success-anchor 校准 advantage,避免模型为省 token 而过度压缩推理或工具调用,适合对 LLM 成本敏感的推荐解释生成、对话式搜索、商品导购等场景。
- 模型-Harness 分离设计适合工具/货架频繁变化的电商场景:模型参数不绑定具体工具清单,Scenario Adapter 按当前可用工具注入操作说明,Memory 按证据分级管理,支持大促、多租户、多行业工具切换而无需反复重训模型。
- AI-for-Data 飞轮可复用:保留失败轨迹并做能力归因,根据验证集弱点生成新任务和重采样,而不是只按原始语料频率训练;这可用于 query 改写、搜索 suggestion、推荐理由生成等任务的持续迭代优化。
MobilePA-Bench:复杂真实任务中移动规划代理的基准测试
🧭 移动 Agent 规划评估 · 工具调用基准 ★ 深度解读
MAI Team · Alibaba Token Hub · Alibaba Group
提出有状态、工具中心的移动规划代理基准,覆盖工具调用、子代理协作、记忆与技能四维能力
📌 工作参考价值(4 点)
- 评估 Agent 工具调用时,用 stateful sandbox 执行真实工具并返回动态反馈,比静态字符串匹配更能暴露运行时错误(如权限拒绝、依赖顺序)。电商场景可模拟库存、订单、用户画像等实时状态,让 Agent 在真实约束下做决策。
- 验证阶段按证据类型分桶(Tool Call / State Change / Agent Behavior),不同任务用不同 checker,避免单一指标过严或过松。可迁移到电商 Agent 评估:下单类任务看最终订单状态,推荐类任务看是否调用正确检索工具并合理追问。
- Memory Usage 维度要求 Agent 必须先显式调用 search_user_memory 检索用户偏好/历史,再规划动作,否则 gate 直接判失败。这启示电商个性化 Agent 应强制显式记忆检索,而不是依赖模型隐式猜测。
- Skill Usage 用预打包复合技能替代原子工具逐步规划,能显著降低长程任务错误累积(Skill 分数普遍高于 Memory)。在电商中,可将“下单+优惠券+支付”“退款+库存回补+通知”等流程封装成 skill,提升整体成功率。
PalmClaw:移动端原生设备能力工具化 Agent 框架
🧭 移动端原生 Agent 架构 · 设备能力工具化
The Hong Kong Polytechnic University · Hangzhou Diagens Biotechnology Co., Ltd.
将手机能力封装为结构化工具,任务成功率相对提升11.5%,完成时间锐减94.9%
📌 工作参考价值(4 点)
- 在移动端电商 Agent(自动比价、下单、提醒)中,将设备功能封装为严格参数化工具,可替代脆弱的 GUI 模拟,提升任务成功率。
- 工具定义需明确输入参数与结构化返回,形成清晰执行边界——这一设计与推荐系统中 API 封装(如商品搜索接口)的设计原则一致,可降低 Agent 规划复杂度。
- 长操作序列(如多步 GUI 点击)合并为单次设备工具调用,大幅缩短耗时(实验减少 94.9%),对实时性要求高的搜索/推荐后链路执行有直接借鉴意义。
- 若构建 LLM 驱动的搜索推荐助手,借鉴其设备工具抽象方法,可将每个数据源、模型服务明确定义为工具,使 Agent 调度更稳定可追溯。
Mobile-Aptus:基于置信度驱动的MLLM移动代理主动鲁棒交互框架
🧭 移动代理 · 置信度驱动交互 ★ 深度解读
Shanghai Jiao Tong University · Meta (GenAI)
提出通用置信度集成框架,结合有监督微调与基于语义相似检索和DPO的置信度偏差校正,同时缓解移动代理的过度执行和过度请求问题
📌 工作参考价值(4 点)
- 可借鉴如何通过置信度分数让 agent 自主判断何时请求人工介入,避免因模型能力边界不清晰导致盲目执行或频繁打扰,适合电商售后、Agent 助理等场景,可复用 confidence-aware 的输出结构设计。
- 提出的两阶段训练流程(先 SFT 赋予置信度生成能力,再通过语义相似检索构建 DPO 对进行偏差校正)具有通用性,可直接迁移到推荐对话交互或生成式推荐中需要模型自省置信度的任务,提升模型自我评估的准确性。
- 在构建 DPO 正负例时,仅针对模型置信度预测错误的样本并利用语义相似度检索 top-k 相关样本构造对比对,能高效利用数据,避免全量标注;该数据增强 trick 可用于其他需要置信度校准的指令微调场景。
- 实验表明,用多智能体系统替代人工介入可在不牺牲任务成功率的前提下减少打断次数(TASK成功率提升32.91%,平均额外延迟仅0.56s),这为电商业务流程中人类介入环节的自动化提供了可行架构:部署一个云端多智体系统,在本地 agent 不确定时接管步骤。